Current Result Document :
| 한글제목(Korean Title) |
어텐션 다양성을 활용한 프롬프트 기반 증분 학습 |
| 영문제목(English Title) |
Prompt Based Incremental Learning Using Attenion Diversity |
| 저자(Author) |
김문현
김민석
지우석
김영국
김영호
Mun-Hyeon Kim
Min-Seok Kim
Woo-Seok Ji
Young-Kuk Kim
Young-Ho Kim
Jaeho Lee
Gyeong-Moon Park
이재호
박경문
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 1664 ~ 1666 (2022. 12) |
한글내용
(Korean Abstract) |
한 모델에 여러 태스크를 순차적으로 학습시키는 경우 학습이 진행됨에 따라 이미 학습된 태스크에 대한 수행 능력을 잃게 되는 catastrophic forgetting 현상이 발생한다. 이러한 문제를 해결하고자 여러 연속 기법들이 제안되었고, 비전 분야의 경우 CNN에서 벗어나 엄청난 성능을 보이는 Vision Transformer를 기반으로 한 연속 학습 방법이 활발히 연구되었다. 최근 발표된 자연어 처리 분야에서 초거대 pretrained LM을 효과적으로 사용하기 위해 제안된 prompt tuning을 Vision Transformer와 증분 학습에 이용한 연구가 기존의 증분 학습 기법들을 압도하는 연구 결과를 보여주었다. 본 논문에서는 앞선 연구에서의 서로 다른 prompt들이 입력 이미지 token 들과 설명하기 어려우며 일반적이지 않게 attention 하는 경향에 대해 분석한다. 더불어 분석 결과를 바탕으로 간단하지만 효과적인 증분 학습을 위한 prompt 학습 방법을 제안한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
